【速報】Amazon Bedrock プロンプトキャッシュがプレビューとして発表されました #AWSreInvent

こんにちは、森田です。

現在ラスベガスで開催中の AWS re:Invent 2024 の Keynote にて Amazon Bedrock プロンプトキャッシュがプレビューとして発表されました。

https://aws.amazon.com/about-aws/whats-new/2024/12/amazon-bedrock-preview-prompt-caching/

Amazon Bedrock プロンプトキャッシュ

頻繁に使用されるプロンプトをAPI側でキャッシュする機能です。

都度、モデルへのリクエストが不要となるため、コストを最大90%、レイテンシーを最大85%削減できることが可能となります。

なお、キャッシュについては、各アクセス後最大 5 分間利用できます。

対応モデル・リージョン

オレゴン、バージニア

• Claude 3.5 Haiku
• Claude 3.5 Sonnet v2

バージニア

• Nova Micro
• Nova Lite
• Nova Pro

さいごに

LLMの呼び出しには、料金・レイテンシーが気になることが多いですが、プロンプトキャッシュを利用できれば、これらの問題を解決できる可能性があります。

現在は、プレビュー公開となっているため、対応モデルが少ないですが、GAが待ち遠しいです！